<!DOCTYPE html>
<html lang="zh-CN">
<head>
  <meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 5.4.0">


  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/logo.svg" color="#222">

<link rel="stylesheet" href="/css/main.css">



<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/@fortawesome/fontawesome-free@5.15.2/css/all.min.css">
  <link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/animate.css@3.1.1/animate.min.css">

<script class="hexo-configurations">
    var NexT = window.NexT || {};
    var CONFIG = {"hostname":"littlefxc.github.io","root":"/","images":"/images","scheme":"Mist","version":"8.2.2","exturl":false,"sidebar":{"position":"left","display":"post","padding":18,"offset":12},"copycode":false,"bookmark":{"enable":false,"color":"#222","save":"auto"},"fancybox":false,"mediumzoom":false,"lazyload":false,"pangu":false,"comments":{"style":"tabs","active":null,"storage":true,"lazyload":false,"nav":null},"motion":{"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"fadeInDown","post_body":"fadeInDown","coll_header":"fadeInLeft","sidebar":"fadeInUp"}},"prism":false,"i18n":{"placeholder":"搜索...","empty":"没有找到任何搜索结果：${query}","hits_time":"找到 ${hits} 个搜索结果（用时 ${time} 毫秒）","hits":"找到 ${hits} 个搜索结果"},"path":"/search.xml","localsearch":{"enable":true,"trigger":"auto","top_n_per_article":1,"unescape":false,"preload":false}};
  </script>
<meta name="description" content="1 Keepalived 简介Keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群系统中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，Keepalived除了能够管理 LVS 软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的高可用解决方案软件。 Keepalived 软件主要通过 VRRP 协议实现高">
<meta property="og:type" content="article">
<meta property="og:title" content="Keepalived原理和配置详解">
<meta property="og:url" content="http://littlefxc.github.io/2021/07/08/Keepalived%E5%8E%9F%E7%90%86%E5%92%8C%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3/index.html">
<meta property="og:site_name" content="一年春又来">
<meta property="og:description" content="1 Keepalived 简介Keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群系统中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，Keepalived除了能够管理 LVS 软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的高可用解决方案软件。 Keepalived 软件主要通过 VRRP 协议实现高">
<meta property="og:locale" content="zh_CN">
<meta property="article:published_time" content="2021-07-08T07:50:31.000Z">
<meta property="article:modified_time" content="2021-07-08T08:26:12.303Z">
<meta property="article:author" content="一年春又来">
<meta property="article:tag" content="keepalived">
<meta name="twitter:card" content="summary">


<link rel="canonical" href="http://littlefxc.github.io/2021/07/08/Keepalived%E5%8E%9F%E7%90%86%E5%92%8C%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3/">


<script class="page-configurations">
  // https://hexo.io/docs/variables.html
  CONFIG.page = {
    sidebar: "",
    isHome : false,
    isPost : true,
    lang   : 'zh-CN'
  };
</script>
<title>Keepalived原理和配置详解 | 一年春又来</title>
  




  <noscript>
  <style>
  body { margin-top: 2rem; }

  .use-motion .menu-item,
  .use-motion .sidebar,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-header {
    visibility: visible;
  }

  .use-motion .header,
  .use-motion .site-brand-container .toggle,
  .use-motion .footer { opacity: initial; }

  .use-motion .site-title,
  .use-motion .site-subtitle,
  .use-motion .custom-logo-image {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line {
    transform: scaleX(1);
  }

  .search-pop-overlay, .sidebar-nav { display: none; }
  .sidebar-panel { display: block; }
  </style>
</noscript>

<link rel="alternate" href="/atom.xml" title="一年春又来" type="application/atom+xml">
</head>

<body itemscope itemtype="http://schema.org/WebPage" class="use-motion">
  <div class="headband"></div>

  <main class="main">
    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-container">
  <div class="site-nav-toggle">
    <div class="toggle" aria-label="切换导航栏" role="button">
        <span class="toggle-line"></span>
        <span class="toggle-line"></span>
        <span class="toggle-line"></span>
    </div>
  </div>

  <div class="site-meta">

    <a href="/" class="brand" rel="start">
      <i class="logo-line"></i>
      <h1 class="site-title">一年春又来</h1>
      <i class="logo-line"></i>
    </a>
  </div>

  <div class="site-nav-right">
    <div class="toggle popup-trigger">
        <i class="fa fa-search fa-fw fa-lg"></i>
    </div>
  </div>
</div>



<nav class="site-nav">
  <ul class="main-menu menu">
        <li class="menu-item menu-item-home"><a href="/" rel="section"><i class="home                          //首页 fa-fw"></i>首页</a></li>
        <li class="menu-item menu-item-archives"><a href="/archives/" rel="section"><i class="archive          //归档 fa-fw"></i>归档</a></li>
        <li class="menu-item menu-item-categories"><a href="/categories/" rel="section"><i class="th           //分类 fa-fw"></i>分类</a></li>
        <li class="menu-item menu-item-tags"><a href="/tags/" rel="section"><i class="tags                     //标签 fa-fw"></i>标签</a></li>
      <li class="menu-item menu-item-search">
        <a role="button" class="popup-trigger"><i class="fa fa-search fa-fw"></i>搜索
        </a>
      </li>
  </ul>
</nav>



  <div class="search-pop-overlay">
    <div class="popup search-popup"><div class="search-header">
  <span class="search-icon">
    <i class="fa fa-search"></i>
  </span>
  <div class="search-input-container">
    <input autocomplete="off" autocapitalize="off" maxlength="80"
           placeholder="搜索..." spellcheck="false"
           type="search" class="search-input">
  </div>
  <span class="popup-btn-close" role="button">
    <i class="fa fa-times-circle"></i>
  </span>
</div>
<div class="search-result-container no-result">
  <div class="search-result-icon">
    <i class="fa fa-spinner fa-pulse fa-5x"></i>
  </div>
</div>

    </div>
  </div>

</div>
        
  
  <div class="toggle sidebar-toggle" role="button">
    <span class="toggle-line"></span>
    <span class="toggle-line"></span>
    <span class="toggle-line"></span>
  </div>

  <aside class="sidebar">

    <div class="sidebar-inner sidebar-nav-active sidebar-toc-active">
      <ul class="sidebar-nav">
        <li class="sidebar-nav-toc">
          文章目录
        </li>
        <li class="sidebar-nav-overview">
          站点概览
        </li>
      </ul>

      <div class="sidebar-panel-container">
        <!--noindex-->
        <div class="post-toc-wrap sidebar-panel">
            <div class="post-toc animated"><ol class="nav"><li class="nav-item nav-level-1"><a class="nav-link" href="#1-Keepalived-%E7%AE%80%E4%BB%8B"><span class="nav-text">1 Keepalived 简介</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#2-Keepalived-%E6%9C%8D%E5%8A%A1%E7%9A%84%E4%B8%89%E4%B8%AA%E9%87%8D%E8%A6%81%E5%8A%9F%E8%83%BD"><span class="nav-text">2 Keepalived 服务的三个重要功能</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#2-1-%E7%AE%A1%E7%90%86-LVS-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1%E8%BD%AF%E4%BB%B6"><span class="nav-text">2.1 管理 LVS 负载均衡软件</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#2-2-%E5%AE%9E%E7%8E%B0%E5%AF%B9-LVS-%E9%9B%86%E7%BE%A4%E8%8A%82%E7%82%B9%E5%81%A5%E5%BA%B7%E6%A3%80%E6%9F%A5%E5%8A%9F%E8%83%BD%EF%BC%88healthcheck%EF%BC%89"><span class="nav-text">2.2 实现对 LVS 集群节点健康检查功能（healthcheck）</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#2-3%E4%BD%9C%E4%B8%BA%E7%B3%BB%E7%BB%9F%E7%BD%91%E7%BB%9C%E6%9C%8D%E5%8A%A1%E7%9A%84%E9%AB%98%E5%8F%AF%E7%94%A8%E5%8A%9F%E8%83%BD%EF%BC%88failover%EF%BC%89"><span class="nav-text">2.3作为系统网络服务的高可用功能（failover）</span></a></li></ol></li><li class="nav-item nav-level-1"><a class="nav-link" href="#3-%E8%BF%90%E8%A1%8C%E5%8E%9F%E7%90%86"><span class="nav-text">3 运行原理</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#4-%E9%80%89%E4%B8%BE%E7%AD%96%E7%95%A5"><span class="nav-text">4 选举策略</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#5-VRRP%E5%8D%8F%E8%AE%AE"><span class="nav-text">5 VRRP协议</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#5-1-VRRP-%E5%8E%9F%E7%90%86%E6%8F%8F%E8%BF%B0%EF%BC%88%E5%90%8C%E6%A0%B7%E9%80%82%E7%94%A8%E4%BA%8E-Keepalived-%E7%9A%84%E5%B7%A5%E4%BD%9C%E5%8E%9F%E7%90%86%EF%BC%89"><span class="nav-text">5.1 VRRP 原理描述（同样适用于 Keepalived 的工作原理）</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#5-2-VRRP-%E6%98%AF%E5%A6%82%E4%BD%95%E5%B7%A5%E4%BD%9C%E7%9A%84%EF%BC%9F"><span class="nav-text">5.2 VRRP 是如何工作的？</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#5-3-VRRP-%E6%98%AF%E5%A6%82%E4%BD%95%E9%80%9A%E4%BF%A1%E7%9A%84%EF%BC%9F"><span class="nav-text">5.3 VRRP 是如何通信的？</span></a></li></ol></li><li class="nav-item nav-level-1"><a class="nav-link" href="#6-Keepalived-%E9%AB%98%E5%8F%AF%E7%94%A8%E6%9C%8D%E5%8A%A1%E8%84%91%E8%A3%82%E9%97%AE%E9%A2%98"><span class="nav-text">6 Keepalived 高可用服务脑裂问题</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#6-1-%E4%BB%80%E4%B9%88%E6%98%AF%E8%84%91%E8%A3%82%EF%BC%9F"><span class="nav-text">6.1 什么是脑裂？</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#6-2-%E5%AF%BC%E8%87%B4%E8%84%91%E8%A3%82%E5%8F%91%E7%94%9F%E7%9A%84%E5%8E%9F%E5%9B%A0"><span class="nav-text">6.2 导致脑裂发生的原因</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#6-3-%E8%A7%A3%E5%86%B3%E8%84%91%E8%A3%82%E7%9A%84%E5%85%B7%E4%BD%93%E6%96%B9%E6%A1%88"><span class="nav-text">6.3 解决脑裂的具体方案</span></a></li></ol></li><li class="nav-item nav-level-1"><a class="nav-link" href="#7-KeepAlived-%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3"><span class="nav-text">7 KeepAlived 配置详解</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#7-1-%E5%85%A8%E5%B1%80%E9%85%8D%E7%BD%AE"><span class="nav-text">7.1 全局配置</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#7-2-VRRPD%E9%85%8D%E7%BD%AE"><span class="nav-text">7.2 VRRPD配置</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#7-2-1-VRRP-Sync-Groups"><span class="nav-text">7.2.1 VRRP Sync Groups**</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#7-2-2-VRRP%E5%AE%9E%E4%BE%8B%EF%BC%88instance%EF%BC%89%E9%85%8D%E7%BD%AE"><span class="nav-text">7.2.2 VRRP实例（instance）配置</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#7-2-3-VRRP-%E8%84%9A%E6%9C%AC"><span class="nav-text">7.2.3 VRRP 脚本</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#7-3-LVS-%E9%85%8D%E7%BD%AE"><span class="nav-text">7.3 LVS 配置</span></a></li></ol></li></ol></div>
        </div>
        <!--/noindex-->

        <div class="site-overview-wrap sidebar-panel">
          <div class="site-author site-overview-item animated" itemprop="author" itemscope itemtype="http://schema.org/Person">
  <p class="site-author-name" itemprop="name">一年春又来</p>
  <div class="site-description" itemprop="description"></div>
</div>
<div class="site-state-wrap site-overview-item animated">
  <nav class="site-state">
      <div class="site-state-item site-state-posts">
          <a href="/archives/">
        
          <span class="site-state-item-count">234</span>
          <span class="site-state-item-name">日志</span>
        </a>
      </div>
      <div class="site-state-item site-state-categories">
            <a href="/categories/">
          
        <span class="site-state-item-count">38</span>
        <span class="site-state-item-name">分类</span></a>
      </div>
      <div class="site-state-item site-state-tags">
            <a href="/tags/">
          
        <span class="site-state-item-count">125</span>
        <span class="site-state-item-name">标签</span></a>
      </div>
  </nav>
</div>



        </div>
      </div>
    </div>
  </aside>
  <div class="sidebar-dimmer"></div>


    </header>

    
  <div class="back-to-top" role="button">
    <i class="fa fa-arrow-up"></i>
    <span>0%</span>
  </div>

<noscript>
  <div class="noscript-warning">Theme NexT works best with JavaScript enabled</div>
</noscript>


    <div class="main-inner post posts-expand">


  


<div class="post-block">
  
  

  <article itemscope itemtype="http://schema.org/Article" class="post-content" lang="zh-CN">
    <link itemprop="mainEntityOfPage" href="http://littlefxc.github.io/2021/07/08/Keepalived%E5%8E%9F%E7%90%86%E5%92%8C%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="一年春又来">
      <meta itemprop="description" content="">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="一年春又来">
    </span>
      <header class="post-header">
        <h1 class="post-title" itemprop="name headline">
          Keepalived原理和配置详解
        </h1>

        <div class="post-meta-container">
          <div class="post-meta">
    <span class="post-meta-item">
      <span class="post-meta-item-icon">
        <i class="far fa-calendar"></i>
      </span>
      <span class="post-meta-item-text">发表于</span>
      

      <time title="创建时间：2021-07-08 15:50:31 / 修改时间：16:26:12" itemprop="dateCreated datePublished" datetime="2021-07-08T15:50:31+08:00">2021-07-08</time>
    </span>

  
</div>

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">
        <h1 id="1-Keepalived-简介"><a href="#1-Keepalived-简介" class="headerlink" title="1 Keepalived 简介"></a>1 Keepalived 简介</h1><p>Keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群系统中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，Keepalived除了能够管理 LVS 软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的高可用解决方案软件。</p>
<p>Keepalived 软件主要通过 VRRP 协议实现高可用功能的，VRRP 是 Virtual Router Redundancy Protocol （虚拟路由器冗余协议）的缩写，VRRP 出现的目的就是为了解决动态路由单点故障问题的，它能够保证当个别节点宕机时，整个网络可以不间断的运行。所以，Keepalived 一方面具有配置管理 LVS 的功能，同时还具有对LVS 下面节点进行健康检查的功能，另一方面也可以实现系统网络服务的高可用功能。</p>
<p>Keepalived  软件的官方站点： <a target="_blank" rel="noopener" href="http://www.keepalived.org/">http://www.keepalived.org</a></p>
<h1 id="2-Keepalived-服务的三个重要功能"><a href="#2-Keepalived-服务的三个重要功能" class="headerlink" title="2 Keepalived 服务的三个重要功能"></a>2 Keepalived 服务的三个重要功能</h1><h2 id="2-1-管理-LVS-负载均衡软件"><a href="#2-1-管理-LVS-负载均衡软件" class="headerlink" title="2.1 管理 LVS 负载均衡软件"></a>2.1 管理 LVS 负载均衡软件</h2><p>早期的 LVS 软件，需要通过命令行或脚本实现管理，并且没有针对 LVS 节点的健康检查功能。为了解决 LVS 的这些使用不便的问题，Keepalived就诞生了，可以说，Keepalived软件起初是专为了解决 LVS 的问题而诞生的。因此，Keepalived和LVS的感情很深，它们的关系如同夫妻一样，可以紧密的结合，愉快的工作。Keepalived 可以通过读取自身的配置文件实现通过更底层的接口直接管理 LVS 的配置以及控制服务的启动、停止等功能，这使得 LVS 的应用就更加简单方便了。</p>
<h2 id="2-2-实现对-LVS-集群节点健康检查功能（healthcheck）"><a href="#2-2-实现对-LVS-集群节点健康检查功能（healthcheck）" class="headerlink" title="2.2 实现对 LVS 集群节点健康检查功能（healthcheck）"></a>2.2 实现对 LVS 集群节点健康检查功能（healthcheck）</h2><p>Keepalived 可以通过在自身的keepalived.conf文件里配置 LVS 的节点 IP 和相关参数实现对 LVS 的直接管理；除此之外，当 LVS 集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalived 服务会自动将失效的节点服务器从 LVS 的正常转发队列中清楚出去，并转换到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复后，Keepalived 服务又会自动地把它们加入到正常转发队列中，对客户提供服务。</p>
<h2 id="2-3作为系统网络服务的高可用功能（failover）"><a href="#2-3作为系统网络服务的高可用功能（failover）" class="headerlink" title="2.3作为系统网络服务的高可用功能（failover）"></a>2.3作为系统网络服务的高可用功能（failover）</h2><p>Keepalived 可以实现任意两台主机之间，例如 Master 和 Backup 主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是 LVS 负载均衡、Nginx 反向代理这样的服务器。</p>
<p>Keepalived 高可用功能实现的原理为：两台主机同时安装好 keepalived 软件并启动服务，开始正常工作时，由角色为 Master 的主机获得所有资源并对用户提供服务，角色 Backup 的主机作为 Master 主机的热备；当角色为 Master 的主机失效或出现故障时，角色为 Backup 的主机将自动接管 Master 主机的所有工作，包括接管 VIP 资源及相应资源服务；而当角色为 Master 的主机故障修复后，又会自动接管回它原来处理的工作，角色为 Backup 的主机则同时释放 Master 主机失效它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。</p>
<h1 id="3-运行原理"><a href="#3-运行原理" class="headerlink" title="3 运行原理"></a>3 运行原理</h1><p>Keepalived 高可用服务对之间的故障切换转移，是通过 VRRP 协议（虚拟路由冗余协议）来实现的。</p>
<p>在 Keepalived 服务正常工作时，主 Master 节点会不断地向备节点发送（多播的方式）心跳消息，用以告诉备 Backup 节点自己还活着，当主 Master 节点发生故障时，就无法发送心跳消息了，备节点也就因此无法继续检测到来自Master 节点的心跳了，进而调用自身的接管程序，接管主 Master 节点的 IP 资源及服务。而当主 Master 节点恢复时，备 Backup 节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来备用角色。</p>
<h1 id="4-选举策略"><a href="#4-选举策略" class="headerlink" title="4 选举策略"></a>4 选举策略</h1><p>选举策略是根据 VRRP 协议，完全按照权重大小，权重最大（0～255）的是 MASTER 机器，下面几种情况会触发选举</p>
<ol>
<li>keepalived 启动的时候</li>
<li>master 服务器出现故障（断网，重启，或者本机器上的 keepalived crash 等，而本机器上其他应用程序 crash 不算）</li>
<li>有新的备份服务器加入且权重最大</li>
</ol>
<h1 id="5-VRRP协议"><a href="#5-VRRP协议" class="headerlink" title="5 VRRP协议"></a>5 VRRP协议</h1><p>VRRP 协议，全称 Virtual Router Redundancy Protocol，中文名为虚拟路由冗余协议，VRRP 的出现就是为了解决静态路由的单点故障问题，VRRP 协议是通过一种竞选机制来将路由的任务交给某台 VRRP 路由器的。VRRP 协议早期是用来解决交换机、路由器等设备单点故障的。</p>
<h2 id="5-1-VRRP-原理描述（同样适用于-Keepalived-的工作原理）"><a href="#5-1-VRRP-原理描述（同样适用于-Keepalived-的工作原理）" class="headerlink" title="5.1 VRRP 原理描述（同样适用于 Keepalived 的工作原理）"></a>5.1 VRRP 原理描述（同样适用于 Keepalived 的工作原理）</h2><p>在一组 VRRP 路由器集群中，有多台物理 VRRP 路由器，但是这多台物理的机器并不是同时工作的，而是由一台称为 MASTER 的机器负责路由工作，其他的机器都是 BACKUP。MASTER 角色并非一成不变，VRRP 协议会让每个 VRRP 路由参与竞选，最终获胜的就是 MASTER。MASTER 拥有虚拟路由器的 IP 地址，我们把这个 IP 地址称为 VIP，MASTER 负责转发发送给网关地址的数据包和响应 ARP 请求。</p>
<h2 id="5-2-VRRP-是如何工作的？"><a href="#5-2-VRRP-是如何工作的？" class="headerlink" title="5.2 VRRP 是如何工作的？"></a>5.2 VRRP 是如何工作的？</h2><p>VRRP 协议通过竞选机制来实现虚拟路由器的功能，所有的协议报文都是通过 IP 多播（默认的多播地址：224.0.0.18）形式进行发送。虚拟路由器由 VRID （范围0-255）和一组 IP 地址组成，对外表现为一个周知的 MAC 地址：00-00-5E-00-01-{VRID}。所以，在一个虚拟路由器中，不管谁是 MASTER，对外都是相同的 MAC 地址和 IP 地址，如果其中一台虚拟路由器宕机，角色发生切换，那么客户端并不需要因为 MASTER 的变化修改自己的路由设置，可以做到透明的切换。这样就实现了如果一台机器宕机，那么备用的机器会拥有 MASTER 上的 IP 地址，实现高可用功能。</p>
<h2 id="5-3-VRRP-是如何通信的？"><a href="#5-3-VRRP-是如何通信的？" class="headerlink" title="5.3 VRRP 是如何通信的？"></a>5.3 VRRP 是如何通信的？</h2><p>在一组虚拟路由器中，只有作为 MASTER 的 VRRP 路由器会一直发送 VRRP 广播包，此时 BACKUP 不会抢占 MASTER 。当 MASTER 不可用时，这个时候 BACKUP  就收不到来自 MASTER 的广播包了，此时多台 BACKUP 中优先级最高的路由器会去抢占为 MASTER。这种抢占是非常快速的（可能只有1秒甚至更少），以保证服务的连续性。出于安全性考虑，VRRP 数据包使用了加密协议进行了加密。</p>
<h1 id="6-Keepalived-高可用服务脑裂问题"><a href="#6-Keepalived-高可用服务脑裂问题" class="headerlink" title="6 Keepalived 高可用服务脑裂问题"></a>6 Keepalived 高可用服务脑裂问题</h1><h2 id="6-1-什么是脑裂？"><a href="#6-1-什么是脑裂？" class="headerlink" title="6.1 什么是脑裂？"></a>6.1 什么是脑裂？</h2><p>由于某些原因，导致两台高可用服务器在指定时间内，无法检测到对方的心跳消息，各自取得资源及服务的所有权，而此时的两台高可用服务器都还活着并在正常运行，这样就会导致同一个 IP 或服务在两端同时存在发生冲突，最严重的是两台主机占用同一个 VIP 地址，当用户写入数据时可能会分别写入到两端，这可能会导致服务器两端的数据不一致或造成数据丢失，这种情况就被称为脑裂。</p>
<h2 id="6-2-导致脑裂发生的原因"><a href="#6-2-导致脑裂发生的原因" class="headerlink" title="6.2 导致脑裂发生的原因"></a>6.2 导致脑裂发生的原因</h2><p>一般来说，脑裂的发生，有以下几种原因：</p>
<p>1）高可用服务器之间心跳线链路故障，导致无法正常通信。</p>
<p>心跳线坏了（包括断了，老化）<br>网卡及相关驱动坏了，IP 配置及冲突问题（网卡直连）<br>心跳线连接的设备故障（网卡及交换机）<br>2）高可用服务器上开启了 iptables 防火墙阻挡了心跳消息传输。</p>
<p>3）高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败。</p>
<p>4）其他服务配置不当等原因，如心跳方式不同，心跳广播冲突、软件 BUG等。</p>
<p>注意：Keepalived 配置里同一 VRRP 实例如果 virtual_router_id 参数两端配置不一致，也会导致脑裂问题发生。</p>
<h2 id="6-3-解决脑裂的具体方案"><a href="#6-3-解决脑裂的具体方案" class="headerlink" title="6.3 解决脑裂的具体方案"></a>6.3 解决脑裂的具体方案</h2><p>在实际生产环境中，可以从以下几个方面来防止脑裂问题的发生</p>
<p>1）同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能够传送心跳消息</p>
<p>2）当检测到脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如Stonith、fence）。相当于备节点接收不到心跳消息，发送关机命令通过单独的线路关闭主节点的电源。</p>
<p>3）做好对脑裂的监控报警（如邮件及手机短信等或值班），在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短信就有上行和下行的区别。报警信息报到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器，让服务器根据指令自动处理相应故障，这样解决故障的时间更短。</p>
<p>4）如果开启防火墙，一定要让心跳消息通过，一般通过允许 IP 段的形式。</p>
<h1 id="7-KeepAlived-配置详解"><a href="#7-KeepAlived-配置详解" class="headerlink" title="7 KeepAlived 配置详解"></a>7 KeepAlived 配置详解</h1><p>Keepalived的所有配置都在一个配置文件里面，主要分为三类：</p>
<ul>
<li>全局配置</li>
<li>VRRPD配置</li>
<li>LVS 配置</li>
</ul>
<h2 id="7-1-全局配置"><a href="#7-1-全局配置" class="headerlink" title="7.1 全局配置"></a>7.1 全局配置</h2><p>全局配置是对整个 Keepalived 生效的配置，一个典型的配置如下：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><span class="line">global_defs &#123;</span><br><span class="line">   notification_email &#123;         #设置 keepalived 在发生事件（比如切换）的时候，需要发送到的email地址，可以设置多个，每行一个。</span><br><span class="line">     acassen@firewall.loc</span><br><span class="line">     failover@firewall.loc</span><br><span class="line">     sysadmin@firewall.loc</span><br><span class="line">   &#125;</span><br><span class="line">   notification_email_from Alexandre.Cassen@firewall.loc    #设置通知邮件发送来自于哪里，如果本地开启了sendmail的话，可以使用上面的默认值。</span><br><span class="line">   smtp_server 192.168.200.1    #指定发送邮件的smtp服务器。</span><br><span class="line">   smtp_connect_timeout 30      #设置smtp连接超时时间，单位为秒。</span><br><span class="line">   router_id LVS_DEVEL          #是运行keepalived的一个表示，多个集群设置不同。</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<h2 id="7-2-VRRPD配置"><a href="#7-2-VRRPD配置" class="headerlink" title="7.2 VRRPD配置"></a>7.2 VRRPD配置</h2><p>VRRPD 的配置是 Keepalived 比较重要的配置，主要分为两个部分 VRRP 同步组和 VRRP实例，也就是想要使用 VRRP 进行高可用选举，那么就一定需要配置一个VRRP实例，在实例中来定义 VIP、服务器角色等。</p>
<h3 id="7-2-1-VRRP-Sync-Groups"><a href="#7-2-1-VRRP-Sync-Groups" class="headerlink" title="7.2.1 VRRP Sync Groups**"></a>7.2.1 VRRP Sync Groups**</h3><p>不使用Sync Group的话，如果机器（或者说router）有两个网段，一个内网一个外网，每个网段开启一个VRRP实例，假设VRRP配置为检查内网，那么当外网出现问题时，VRRPD认为自己仍然健康，那么不会发生Master和Backup的切换，从而导致了问题。Sync group就是为了解决这个问题，可以把两个实例都放进一个Sync Group，这样的话，group里面任何一个实例出现问题都会发生切换。</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><span class="line">vrrp_sync_group VG_1&#123; #监控多个网段的实例</span><br><span class="line">group &#123;</span><br><span class="line">　　　　VI_1 #实例名</span><br><span class="line">　　　　VI_2</span><br><span class="line">　　　　......</span><br><span class="line">&#125;</span><br><span class="line">notify_master &#x2F;path&#x2F;xx.sh 　　　　#指定当切换到master时，执行的脚本</span><br><span class="line">netify_backup &#x2F;path&#x2F;xx.sh 　　　　#指定当切换到backup时，执行的脚本</span><br><span class="line">notify_fault &quot;path&#x2F;xx.sh VG_1&quot;   #故障时执行的脚本</span><br><span class="line">notify &#x2F;path&#x2F;xx.sh</span><br><span class="line">smtp_alert 　　#使用global_defs中提供的邮件地址和smtp服务器发送邮件通知</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<h3 id="7-2-2-VRRP实例（instance）配置"><a href="#7-2-2-VRRP实例（instance）配置" class="headerlink" title="7.2.2 VRRP实例（instance）配置"></a>7.2.2 VRRP实例（instance）配置</h3><p>VRRP实例就表示在上面开启了VRRP协议，这个实例说明了VRRP的一些特征，比如主从，VRID等，可以在每个interface上开启一个实例。</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br></pre></td><td class="code"><pre><span class="line">vrrp_instance VI_1 &#123;</span><br><span class="line">    state MASTER         #指定实例初始状态，实际的MASTER和BACKUP是选举决定的。</span><br><span class="line">    interface eth0       #指定实例绑定的网卡</span><br><span class="line">    virtual_router_id 51 #设置VRID标记，多个集群不能重复(0..255)</span><br><span class="line">    priority 100         #设置优先级，优先级高的会被竞选为Master，Master要高于BACKUP至少50</span><br><span class="line">    advert_int 1         #检查的时间间隔，默认1s</span><br><span class="line">    nopreempt            #设置为不抢占，说明：这个配置只能在BACKUP主机上面设置</span><br><span class="line">    preempt_delay        #抢占延迟，默认5分钟</span><br><span class="line">    debug                #debug级别</span><br><span class="line">    authentication &#123;     #设置认证</span><br><span class="line">        auth_type PASS    #认证方式，支持PASS和AH，官方建议使用PASS</span><br><span class="line">        auth_pass 1111    #认证的密码</span><br><span class="line">    &#125;</span><br><span class="line">    virtual_ipaddress &#123;     #设置VIP，可以设置多个，用于切换时的地址绑定。格式：#&lt;IPADDR&gt;&#x2F;&lt;MASK&gt; brd &lt;IPADDR&gt; dev &lt;STRING&gt; scope &lt;SCOPT&gt; label &lt;LABE</span><br><span class="line">        192.168.200.16&#x2F;24 dev eth0 label eth0:1</span><br><span class="line">        192.168.200.17&#x2F;24 dev eth1 label eth1:1</span><br><span class="line">        192.168.200.18</span><br><span class="line">    &#125;</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<h3 id="7-2-3-VRRP-脚本"><a href="#7-2-3-VRRP-脚本" class="headerlink" title="7.2.3 VRRP 脚本"></a>7.2.3 VRRP 脚本</h3><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br></pre></td><td class="code"><pre><span class="line"># VRRP 脚本 </span><br><span class="line"># 如下所示为相关配置示例</span><br><span class="line">vrrp_script check_running &#123;</span><br><span class="line">   script &quot;&#x2F;usr&#x2F;local&#x2F;bin&#x2F;check_running&quot;</span><br><span class="line">   interval 10</span><br><span class="line">   weight 10</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line">vrrp_instance http &#123;</span><br><span class="line">   state BACKUP</span><br><span class="line">   smtp_alert</span><br><span class="line">   interface eth0</span><br><span class="line">   virtual_router_id 101</span><br><span class="line">   priority 90</span><br><span class="line">   advert_int 3</span><br><span class="line">   authentication &#123;</span><br><span class="line">   auth_type PASS</span><br><span class="line">   auth_pass whatever</span><br><span class="line">   &#125;</span><br><span class="line">   virtual_ipaddress &#123;</span><br><span class="line">   1.1.1.1</span><br><span class="line">   &#125;</span><br><span class="line">   track_script &#123;</span><br><span class="line">   check_running </span><br><span class="line">   &#125;</span><br><span class="line">&#125;</span><br><span class="line"># 首先在 vrrp_script 区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更, 如下所示:</span><br><span class="line">vrrp_script check_running &#123;</span><br><span class="line">            script &quot;&#x2F;usr&#x2F;local&#x2F;bin&#x2F;check_running&quot;</span><br><span class="line">            interval 10     # 脚本执行间隔</span><br><span class="line">            weight 10       # 脚本结果导致的优先级变更 10 表示优先级 + 10-10 则表示优先级 - 10</span><br><span class="line">            &#125;</span><br><span class="line"># 然后在实例(vrrp_instance) 里面引用有点类似脚本里面的函数引用一样先定义后引用函数名</span><br><span class="line">track_script &#123;</span><br><span class="line">      check_running </span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<p>注意:<br>VRRP 脚本 (vrrp_script) 和 VRRP 实例 (vrrp_instance) 属于同一个级别<br>keepalived 会定时执行脚本并对脚本执行的结果进行分析，动态调整 vrrp_instance 的优先级。一般脚本检测返回的值为 0，说明脚本检测成功，如果为非 0 数值，则说明检测失败<br>如果脚本执行结果为 0，并且 weight 配置的值大于 0，则优先级相应的增加, 如果 weight 为非 0，则优先级不变<br>如果脚本执行结果非 0，并且 weight 配置的值小于 0，则优先级相应的减少, 如果 weight 为 0，则优先级不变<br>其他情况，维持原本配置的优先级，即配置文件中 priority 对应的值。<br>这里需要注意的是：<br>1） 优先级不会不断的提高或者降低<br>2） 可以编写多个检测脚本并为每个检测脚本设置不同的 weight<br>3） 不管提高优先级还是降低优先级，最终优先级的范围是在[1,254]，不会出现优先级小于等于 0 或者优先级大于等于 255 的情况<br>这样可以做到利用脚本检测业务进程的状态，并动态调整优先级从而实现主备切换。</p>
<h2 id="7-3-LVS-配置"><a href="#7-3-LVS-配置" class="headerlink" title="7.3 LVS 配置"></a>7.3 LVS 配置</h2><p>虚拟服务器virtual_server定义块 ，虚拟服务器定义是keepalived框架最重要的项目了，是keepalived.conf必不可少的部分。 该部分是用来管理LVS的，是实现keepalive和LVS相结合的模块。ipvsadm命令可以实现的管理在这里都可以通过参数配置实现，注意：real_server是被包含在viyual_server模块中的，是子模块。</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br><span class="line">47</span><br><span class="line">48</span><br><span class="line">49</span><br><span class="line">50</span><br><span class="line">51</span><br><span class="line">52</span><br><span class="line">53</span><br><span class="line">54</span><br><span class="line">55</span><br><span class="line">56</span><br><span class="line">57</span><br></pre></td><td class="code"><pre><span class="line">virtual_server 192.168.202.200 23 &#123;        &#x2F;&#x2F;VIP地址，要和vrrp_instance模块中的virtual_ipaddress地址一致</span><br><span class="line">　　　　delay_loop 6   #健康检查时间间隔</span><br><span class="line">　　　　lb_algo rr 　　#lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh</span><br><span class="line">　　　　lb_kind DR    #负载均衡转发规则NAT|DR|RUN</span><br><span class="line">　　　　persistence_timeout 5 #会话保持时间</span><br><span class="line">　　　　protocol TCP    #使用的协议</span><br><span class="line">　　　　persistence_granularity &lt;NETMASK&gt; #lvs会话保持粒度</span><br><span class="line">　　　　virtualhost &lt;string&gt;    #检查的web服务器的虚拟主机（host：头）</span><br><span class="line">　　　　sorry_server&lt;IPADDR&gt; &lt;port&gt; #备用机，所有realserver失效后启用</span><br><span class="line"></span><br><span class="line">real_server 192.168.200.5 23 &#123;             &#x2F;&#x2F;RS的真实IP地址</span><br><span class="line">            weight 1 #默认为1,0为失效</span><br><span class="line">            inhibit_on_failure #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除</span><br><span class="line">            notify_up &lt;string&gt; | &lt;quoted-string&gt; #在检测到server up后执行脚本</span><br><span class="line">            notify_down &lt;string&gt; | &lt;quoted-string&gt; #在检测到server down后执行脚本</span><br><span class="line"></span><br><span class="line">TCP_CHECK &#123;                    &#x2F;&#x2F;常用</span><br><span class="line">            connect_timeout 3 #连接超时时间</span><br><span class="line">            nb_get_retry 3 #重连次数</span><br><span class="line">            delay_before_retry 3 #重连间隔时间</span><br><span class="line">            connect_port 23  #健康检查的端口的端口</span><br><span class="line">            bindto &lt;ip&gt;</span><br><span class="line">          &#125;</span><br><span class="line"></span><br><span class="line">HTTP_GET | SSL_GET&#123;          &#x2F;&#x2F;不常用</span><br><span class="line">    url&#123; #检查url，可以指定多个</span><br><span class="line">         path &#x2F;</span><br><span class="line">         digest &lt;string&gt; #检查后的摘要信息</span><br><span class="line">         status_code 200 #检查的返回状态码</span><br><span class="line">        &#125;</span><br><span class="line">    connect_port &lt;port&gt;</span><br><span class="line">    bindto &lt;IPADD&gt;</span><br><span class="line">    connect_timeout 5</span><br><span class="line">    nb_get_retry 3</span><br><span class="line">    delay_before_retry 2</span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line">SMTP_CHECK&#123;                 &#x2F;&#x2F;不常用</span><br><span class="line">    host&#123;</span><br><span class="line">    connect_ip &lt;IP ADDRESS&gt;</span><br><span class="line">    connect_port &lt;port&gt; #默认检查25端口</span><br><span class="line">    bindto &lt;IP ADDRESS&gt;</span><br><span class="line">         &#125;</span><br><span class="line">    connect_timeout 5</span><br><span class="line">    retry 3</span><br><span class="line">    delay_before_retry 2</span><br><span class="line">    helo_name &lt;string&gt; | &lt;quoted-string&gt; #smtp helo请求命令参数，可选</span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line">MISC_CHECK&#123;                 &#x2F;&#x2F;不常用</span><br><span class="line">    misc_path &lt;string&gt; | &lt;quoted-string&gt; #外部脚本路径</span><br><span class="line">    misc_timeout #脚本执行超时时间</span><br><span class="line">    misc_dynamic #如设置该项，则退出状态码会用来动态调整服务器的权重，返回0 正常，不修改；返回1，</span><br><span class="line"></span><br><span class="line">　　检查失败，权重改为0；返回2-255，正常，权重设置为：返回状态码-2</span><br><span class="line">    &#125;</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

    </div>

    
    
    

    <footer class="post-footer">
          <div class="post-tags">
              <a href="/tags/keepalived/" rel="tag"># keepalived</a>
          </div>

        

          <div class="post-nav">
            <div class="post-nav-item">
                <a href="/2021/07/06/docs/JVM/%E7%BC%96%E8%AF%91JDK/" rel="prev" title="编译JDK">
                  <i class="fa fa-chevron-left"></i> 编译JDK
                </a>
            </div>
            <div class="post-nav-item">
                <a href="/2021/07/09/docs/JVM/JVM%E4%B9%8B%E5%AF%B9%E8%B1%A1%E7%9A%84%E5%88%9B%E5%BB%BA%E8%BF%87%E7%A8%8B/" rel="next" title="JVM之对象的创建过程">
                  JVM之对象的创建过程 <i class="fa fa-chevron-right"></i>
                </a>
            </div>
          </div>
    </footer>
  </article>
</div>







<script>
  window.addEventListener('tabs:register', () => {
    let { activeClass } = CONFIG.comments;
    if (CONFIG.comments.storage) {
      activeClass = localStorage.getItem('comments_active') || activeClass;
    }
    if (activeClass) {
      const activeTab = document.querySelector(`a[href="#comment-${activeClass}"]`);
      if (activeTab) {
        activeTab.click();
      }
    }
  });
  if (CONFIG.comments.storage) {
    window.addEventListener('tabs:click', event => {
      if (!event.target.matches('.tabs-comment .tab-content .tab-pane')) return;
      const commentClass = event.target.classList[1];
      localStorage.setItem('comments_active', commentClass);
    });
  }
</script>
</div>
  </main>

  <footer class="footer">
    <div class="footer-inner">


<div class="copyright">
  &copy; 
  <span itemprop="copyrightYear">2022</span>
  <span class="with-love">
    <i class="fa fa-heart"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">一年春又来</span>
</div>
  <div class="powered-by">由 <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> & <a href="https://theme-next.js.org/mist/" class="theme-link" rel="noopener" target="_blank">NexT.Mist</a> 强力驱动
  </div>

    </div>
  </footer>

  
  <script src="https://cdn.jsdelivr.net/npm/animejs@3.2.1/lib/anime.min.js"></script>
<script src="/js/utils.js"></script><script src="/js/motion.js"></script><script src="/js/schemes/muse.js"></script><script src="/js/next-boot.js"></script>

  
<script src="/js/local-search.js"></script>






  





</body>
</html>
